One Polluted Page Is Enough: Evaluating Web Content Pollution in Generative Recommenders
一页污染足矣:生成式推荐中的网页内容污染评估
🧭 生成式推荐 · 网页内容污染 · 脆弱性评估 ★ 深度解读
The Chinese University of Hong Kong
提出FORGE基准,揭示搜索增强LLM在检索到虚假内容后会将假品牌推荐给用户,单页污染即导致高达27%的误导率
📌 工作参考价值(4 点)
- 检索增强推荐系统的风险警醒:应警惕来自开放 Web 的污染内容通过搜索进入推荐证据池,尤其在电商长尾品类(餐饮、本地服务等)风险更高。可借鉴 FORGE 的污染模拟方法,在内部构建针对性的安全评估流水线,量化自身推荐管线的脆弱性。
- 推理能力可能放大风险:论文发现显式推理(CoT)会使模型更易被污染证据说服,并编造「社区口碑」等虚假社会证明。在 Agent 或推荐系统中使用推理增强时,需引入额外的证据一致性校验,而非单纯依赖模型内在审查。
- 防御策略的取舍:直接使用「怀疑主义」提示可能在高抵抗力模型上反效果,而基于共识的过滤会牺牲大量合法推荐。更务实的防御应前移至检索阶段,如对来源可信度加权、证据来源多样化、要求跨文档 corroboration,这些可直接应用于电商搜索增强推荐中的网页内容筛选模块。
- 品牌知识锚定效应:模型对市场集中度高的品类(如手机、家电)抵抗较强,对碎片化品类脆弱,这提示我们可在推荐系统中利用已有品牌知识库进行先验过滤,或对低共识品类主动触发更高强度的内容核查。